BASIS: Batchwise Advantage Estimation from Single-Rollout Information Sharing for LLM Reasoning
BASIS：单Rollout批内共享信息实现低方差优势估计的LLM推理后训练
🧭 RLVR · 批内优势估计削减方差 ★ 深度解读
University of Science and Technology of China · London School of Economics and Political Science · University of Oxford
利用跨提示的批内奖励加权平均，仅需单次采样即可获得比GRPO8次采样更准的价值估计，训练时间减半且性能接近多轮次基线。
📌 工作参考价值（4 点）
- 批内信息共享替代多采样：在电商推荐或Agent强化学习中，若每个请求只产生一条轨迹（如一次推荐列表），可以利用同一批次内其他请求的奖励，通过加权平均估计当前请求的基线价值，相当于用“横向”信息替代“纵向”重复采样，降低方差而不增加采样成本。
- 离线价值表+在线校准套路：先利用参考模型（例如上线前的模型）对每个提示采样少量结果，构建离线初始价值估计（如KL‑正则化最优价值），训练时再通过最小化误差在线选择一个温度参数β来校准，这种“离线预热+在线自适应”的模式可迁移至需要稳定价值估计的场景，比如生成式推荐的RL微调。
- 自适应权重避免极端噪声：当某些提示的预估价值接近0或1时，贝努利方差趋于0会导致权重爆炸，本文引入“活跃集”与回退到零基线的做法，可借鉴到其他基于二进制奖励（如点击/不点击）的批内加权方案中，防止数值不稳定。
- 防止策略坍塌的简单手段：实验表明，更准确的优势估计能避免单轨迹REINFORCE类算法在训练中后期性能急剧下降的问题，对于希望用单轨迹RL高效微调推荐策略的实践者，引入批内信息共享可能是一种低开销的防坍塌方案。